Christian Roth und Andreas Waßmus

Kurs: Programming for Data Science

Programmiersprache Python

Major Assignment: Used Car Sales Analysis¶

import pandas as pd
import numpy as np

Beschreibung Use Case¶

Der Verkauf von Kraftfahrzeugen (PKW) ist in Deutschland ein Markt von großem Interesse. Untergliedert in Neu- und Gebrauchtwagen hat er in 2019 ein Volumen von 191,7 Mrd. EUR. Dabei macht der Verkauf von Gebrauchtwagen mit einem Umsatz von 84,7 Mrd. EUR 44,2% des Marktes aus. Der Gebrauchtwagenmarkt ist zu zwei Dritteln gewerblich und einem Drittel privat organisiert. Ca. 5 Mio. Deutsche überlegen sich in den kommenden Jahren einen neuen Gebrauchtwagen zuzulegen. (Quelle: destatis, abgerufen am 23.08.2019, https://de.statista.com/themen/1377/gebrauchtwagenhandel/)

Folie1.png

Im vorliegenden Assignment soll eine Analyse des Gebrauchtwagenmarktes in Deutschland durchgeführt werden. Dazu werden die Verkäufe in diesem Teilsegment näher betrachtet. Um Verkaufsdaten zu generieren, wurde überlegt, Plattformen wie mobile.de zu crawlen und die Daten auszuwerten. Ein solcher Crawler hätte den Vorteil, einen aktuellen Blick in den Gebrauchtwagenmarkt zu erhalten, ist aber recht umfangreich zu programmieren und hat das Risko, keine Daten zu bekommen, da Marktplätze es über ihre AGB Crawling ausschließen und gleichzeitig ein Crawling ihrerseits verhindern. Daher wurde das Web nach frei verfügbaren Datensätzen über Gebrauchtwagenverkäufe durchsucht. Es wurde ein Datensatz in Kaggle aus dem Jahr 2016 gefunden, der sich sehr gut für diese Analyse nutzen lässt. Ausgehend von einem Privatmarktanteil im Gebrauchtwagenmarkt von 33% hat das Jahr 2016 mit 27,93 Mrd. EUR eine sehr ähnliche Größe wie das letzte Jahr 2018. Somit ist auch die Aktualität bezogen auf die Marktgröße gegeben.

Im Zuge des Projekts wird der Datensatz mit weiteren Datenpunkten gezielt angereichert, um zusätzliche regionale bzw. geographische Aspekte sowie Unternehmenszugehörigkeiten von Marken darzustellen. Dadurch werden auch die aus den vorangegangenen Assignments abgeleiteten Anforderungen des Seminars abgedeckt.

Übersicht Daten¶

Masterdaten aus Kaggle

Used Car Dataset

CSV-Datensätze

Postleitzahlen
Längen- und Breitengrade
Einwohner je Postleitzahl
Bundesländer

Selbsterstellter CSV Datensatz

Automarken und deren Zugehörigkeit zu Automobilkonzernen

Selbsterstellter Datensatz durch Crawling

Logos der Automarken

Fragestellungen¶

Im Rahmen des Assignments kann den folgenden Fragestellen zum privaten Gebrauchtwagenmarkt nachgegangen werden:

Wie ist das Durchschnittsalter von Gebrauchtwagen?
Wie ist der durchschnittliche Kilometerstand von Gebrauchtwagen im Privatmarkt?
Wie ist der durchschnittliche Verkaufspreis der Fahrzeuge im Privatmarkt?
Wo sind die Preise am teuersten, wo am günstigsten? (alle Fragen von statista, sind aber nur kostenpflichtig zu beziehen)

Weitere mögliche Fragestellungen in Bezug auf die Beschreibung des Marktes:

Welche Marktanteile von Marken gibt es im Gebrauchtwagenmarkt?
Wie sieht die Verteilung der Marktanteile in Bezug auf Automobilkonzerne dar?
Wo werden bestimmte Marken oder Modelle angeboten?
Wie stellt sich die Verteilung bei Diesel und Benzinern dar?
Welche Fahrzeugform haben die angebotenen Autos?
Wie viel PS haben die angebotenen Autos?
Wie lange ist eine Anzeige durchschnittlich online, bis das Auto verkauft wird?
Wie ist der Markt geografisch aufgeteilt? Wo werden besonders viele Autos angeboten bzw. verkauft?

Fragestellungen zu Angebotspreisen:

Welche Fahrzeuge erzielen höhere Verkaufspreise?
Welche Marken erzielen die höchsten Preise?
Welche Merkmale eines Autos haben einen Einfluss auf die Angebotspreise? (Korrelationen)

Im Rahmen der Analyse (Abschnitt 4) wird sich auf ausgewählte Fragen fokussiert.

Vorgehen Analyse¶

Zunächst werden die CSV-Daten eingelesen und gesichtet. Im Rahmen der anschließenden Datenaufbereitung wird der Datensatz um unbrauchbare Datensätze bereinigt (offensichtliche Falschangaben, offensichtliche Scheinangebote, unrealistische Angebote). Anschließend werden die Markenlogos gecrawlt und ebenfalls in die Analyse integriert. Die Datenaufbereitung findet ihren Abschluss in der Erstellung von zwei für die Analyse zur Verfügung stehenden Dataframes. Es soll zudem das Speichern der Daten in Datenbanken getestet werden.

In der Analyse der Daten werden zu ausgewählten Fragestellungen Häufigkeiten und relative Häufigkeiten gerechnet und visualisiert. Anschließend werden statistische Merkmale des Datensatzes ausgewertet und Korrelationen berechnet, um Zusammenhänge der Preisfindung herauszufinden. Abgeschlossen wir die Analyse durch die geographische Visualisierung der Daten zu bestimmten Aspekten des Datensatzes.

Einlesen der Daten¶

Für die Analyse wird ein Datensatz aus Kaggle verwendet. Diese dort zur Verfügung gestellten Daten wurden im Jahr 2016 mit Scrapy von Ebay-Kleinanzeigen gecrawled. Es handelt sich um 371.528 Datensätze.

Datensatz: https://www.kaggle.com/orgesleka/used-cars-database

Beschreibung und Einlesen der Masterdaten:¶

Je Datensatz wurden folgende 19 Datenpunkte gesammelt:

dateCrawled: Datum, wann die Anzeige das erste mal gecrawlt wurde (alle Feldwerte stammen von diesem Datum, Index)
name: "Name" des Autos (Anzeigenname)
seller: Gewerblicher oder privater Verkäufer
offerType: Handelt es sich um Angebote oder Gesuche
price : Der Angebotspreis der Anzeige (kein finaler Verkaufspreis)
abtest: Ausprägungen "test" und "control" (diese Spalte ist für die Analyse nicht relevant)
vehicleType: Fahrzeugform, Kategorien von verschiedenen Fahrzeugtypen
yearOfRegistration: Jahr der Erstzulassung
gearbox: Getriebeart
powerPS: Leistung in PS
model: Modellname des Herstellers
kilometer: Kilometerstand bei Verkauf
monthOfRegistration: Monat der Erstzulassung
fuelType: Kraftstoffart
brand: Automarke
notRepairedDamage: Nicht-reparierter Schaden am Auto (Variable lässt keine Aussage über die Höhe der unfallfreien Fahrzeuge zu
dateCreated: Erstelldatum der Anzeige
nrOfPictures: Fehlerhafter Spalte wird im Rahmen der Datenbereinigung aus Analyse entfernt
postalCode: Postleitzahl
lastSeenOnline: Wann wurde die Anzeige das letzte Mal vom Crawler gesehen?

Codebeschreibung:

Initialisierung des relativen CSV-Pfades
Importieren der CSV und Erstellen eines Dataframes (DF)
Einblick in den Datensatz mit der Print-Funktion

relpathCar = "./csv/autos.csv"
df_carData = pd.read_csv(relpathCar, sep=",", encoding="latin-1", index_col=0)

print(df_carData.shape)
print('----------')
print(df_carData.columns)

(371528, 19)
----------
Index(['name', 'seller', 'offerType', 'price', 'abtest', 'vehicleType',
       'yearOfRegistration', 'gearbox', 'powerPS', 'model', 'kilometer',
       'monthOfRegistration', 'fuelType', 'brand', 'notRepairedDamage',
       'dateCreated', 'nrOfPictures', 'postalCode', 'lastSeen'],
      dtype='object')

Einbindung zusätzlicher Daten¶

Der Datensatz wurde dahingehend überprüft, ob es Sinn macht, an bestimmten Stellen Daten anzureichern. Dabei kommen zwei Spalten in Betracht:

brand
postalCode

Zur Marke (brand) der PKWs wird eine CSV-Tabelle mit Konzernzugehörigkeiten der einzelnen Marken eingespielt. Diese CSV wurde selbst erstellt, da keine frei verfügbare Liste oder CSV-Datei gefunden wurde und hier ein Crawling-Prozess in Anbetracht des geringen Informationsgehalts dieser Datei zu aufwendig gewesen wäre. Daher war es effizienter und schneller diese Datei selber zu erstellen.

Bzgl. der Postleitzahlen (postalCode) wurden mehrere Datenbanken durchsucht und verschiedene CSV-Dateien gefunden, sodass zu den Postleitzahlen der Name des Ortes mit Längen- und Breitengraden sowie dessen Einwohnerzahl hinzugefügt werden können. Darüber hinaus können damit die Postleitzahlen einem Bundesland zugeordnet werden. Diese Dateien wurden von http://www.fa-technik.adfc.de/code/opengeodb/PLZ.tab, https://www.suche-postleitzahl.org/downloads und https://excel-karte.de/wp-content/uploads/2016/12/Liste-der-PLZ-in-Excel-Karte-Deutschland-Postleitzahlen.xlsx heruntergeladen (24.08.2019) und werden in diesem Abschnitt ebenfalls mit den Dataframe Used Cars Dataset zusammengeführt.

Codebeschreibung: Initialisierung der relativen CSV-Pfade

# Initialize relative path of csv-file for other data
relpathKON = "./csv/Autokonzerne.csv"
relpathPLZ = "./csv/PLZ.csv"
relpathEIN = "./csv/plz_einwohner.csv"
relpathBUN = "./csv/plz_bundesland.csv"

Codebeschreibung: Einlesen der Dataframes (DF)

Konzernmarken einlesen
Längen- und Breitengrade (Alternative wäre geopy gewesen, aber funktioniert bei sovielen Zeilen wegen "HTTP429: to many requests" nicht)
Einwohner je Postleitzahl einlesen
Bundesländer einlesen,Daten präparieren und Ausgabe des DF

df_companies = pd.read_csv(relpathKON, sep=";", encoding="UTF-8")

df_lonlat = pd.read_csv(relpathPLZ, sep='\t', encoding="utf-8")

df_population = pd.read_csv(relpathEIN, sep=",", encoding="UTF-8")

df_bundesland = pd.read_csv(relpathBUN, sep=";", encoding="UTF-8")
df_bundesland = df_bundesland.rename(columns={'PLZ': 'plz'})
df_bundesland.head()

Die Einwohneranzahl je Stadt wird mit der Latitude und Longitude, sowie dem Bundesland zusammengeführt:

df_postalCodeInfo = df_lonlat.merge(df_population, on='plz', how='left')
df_postalCodeInfo = pd.merge(df_postalCodeInfo, df_bundesland[[
                             'plz', 'Bundesland']], on='plz', how='left')
df_postalCodeInfo.head()

Data Preparation¶

In diesem Abschnitt werden die Daten aufbereitet und bereinigt, sodass sie im Anschluss analysiert werden können.

Übersicht und Einfinden in die Datensätze¶

Codebeschreibung:

Create Index
Rename postalcode zu plz als Vorbereitung für den Merge

df_carData = df_carData.reset_index()

df_carData = df_carData.rename(columns={'postalCode': 'plz'})

Die Zeit, die eine Anzeige online ist, gibt Aufschluss darüber, wie groß die Nachfrage nach dem PKW ist und wie gut das Angebot war. Um die Online-Dauer einer Anzeige zu berechnen, wird die Spalte "offerTime" berechnet und hinzugefügt.

Erstellung eines neuen Attributs:

Erstellungsdatum der Anzeige - Letztmaliger Anzeigenaufruf möglich = Anzahl der Tage Online

Codebeschreibung:

Column dateCreated & lastSeen in Datetime umwandeln (dt.normalize() um die Anzeige und nicht dtype selbst zu verändern)
Column offerTime eingefügt, um zu berechnen, wie lange eine Anzeige online war.

df_carData["dateCreated"] = pd.to_datetime(
    df_carData["dateCreated"]).dt.normalize()
df_carData["lastSeen"] = pd.to_datetime(df_carData["lastSeen"]).dt.normalize()


df_carData["offerTime"] = (df_carData["lastSeen"] -
                           df_carData["dateCreated"]).dt.days

df_carData["dateCrawled"] = pd.to_datetime(df_carData["dateCrawled"]).dt.normalize()

df_carData['year_crawled'], df_carData['month_crawled'] = df_carData['dateCrawled'].dt.year, df_carData['dateCrawled'].dt.month

df_carData.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 371528 entries, 0 to 371527
Data columns (total 23 columns):
dateCrawled            371528 non-null datetime64[ns]
name                   371528 non-null object
seller                 371528 non-null object
offerType              371528 non-null object
price                  371528 non-null int64
abtest                 371528 non-null object
vehicleType            333659 non-null object
yearOfRegistration     371528 non-null int64
gearbox                351319 non-null object
powerPS                371528 non-null int64
model                  351044 non-null object
kilometer              371528 non-null int64
monthOfRegistration    371528 non-null int64
fuelType               338142 non-null object
brand                  371528 non-null object
notRepairedDamage      299468 non-null object
dateCreated            371528 non-null datetime64[ns]
nrOfPictures           371528 non-null int64
plz                    371528 non-null int64
lastSeen               371528 non-null datetime64[ns]
offerTime              371528 non-null int64
year_crawled           371528 non-null int64
month_crawled          371528 non-null int64
dtypes: datetime64[ns](3), int64(10), object(10)
memory usage: 65.2+ MB

Kontrolle des Dataframe nach Integration des Attributes "offerTime".

df_carData.head(5)

Umgang mit fehlenden und nicht benötigten Werten:¶

Fehlende Werte:¶

Grundsätzlich gibt es drei Möglichkeiten, mit den fehlenden Werten umzugehen:

1. Wir löschen alle unvollständigen Datensätze.
1. Wir belassen die unvollständigen Datensätze im Dataset und verwenden für bestimmte Analyse nur die vollständigen Datensätze.
1. Wir ersetzen die fehlenden Werte.

Für die hier durchgeführte deskriptive Analyse reicht es zunächst aus, die fehlenden Werte (NaN-Values) im Datensatz zu belassen. Zur eindeutigen Kennzeichnung werden diese mit einen (-) ersetzt (alle String-Datentypen). Wir gehen somit mit Option 2 vor und werden, falls notwendig, für bestimmte deskriptive Analysen (bspw. Korrelationen) nur vollständige Datensätze zulassen. Für tiefergehende Analysen ist zu prüfen, inwieweit diese Werte ersetzt werden können oder ob man mit Option 1 verfahren muss.

Insgesamt gibt es 5 Spalten mit fehlenden Werten:

df_carData.isna().sum()

dateCrawled            0    
name                   0    
seller                 0    
offerType              0    
price                  0    
abtest                 0    
vehicleType            37869
yearOfRegistration     0    
gearbox                20209
powerPS                0    
model                  20484
kilometer              0    
monthOfRegistration    0    
fuelType               33386
brand                  0    
notRepairedDamage      72060
dateCreated            0    
nrOfPictures           0    
plz                    0    
lastSeen               0    
offerTime              0    
year_crawled           0    
month_crawled          0    
dtype: int64

NaN-Values werden mit "-" ersetzt. Neben diesen Werten gibt es beim Attribut "monthOfRegistration" den Wert 0 als fehlenden Wert oder keine Angabe. Dieser Wert wird nicht mit "-" ersetzt, da es ein numerisches Feld ist und ansonsten das Attribut nicht für weitere Kalkulationen benutzt werden kann. Im weiteren Verlauf wird so auch mit den Floating Variablen verfahren und die NaN-Values bei Längen- und Breitengraden im Datensatz belassen, damit diese in Berechnungen einbezogen werden können.

df_carData = df_carData.fillna("-")
# df_carData.head()

Überprüfung ob alle fehlenden Werte ersetzt wurden:

df_carData.isna().sum()

dateCrawled            0
name                   0
seller                 0
offerType              0
price                  0
abtest                 0
vehicleType            0
yearOfRegistration     0
gearbox                0
powerPS                0
model                  0
kilometer              0
monthOfRegistration    0
fuelType               0
brand                  0
notRepairedDamage      0
dateCreated            0
nrOfPictures           0
plz                    0
lastSeen               0
offerTime              0
year_crawled           0
month_crawled          0
dtype: int64

Nicht benötigte Attribute¶

Im nächsten Schritt wird der Datensatz um Gesuche (Attribut "offerType") bereinigt, sodass nur Angebote im Datensatz vorhanden sind. Dadurch verliert das Attribut "offerType" seine Daseinsberechtigung und kann gelöscht werden. Ebenso wird mit dem Attribut "seller" verfahren. Zusätzlich werden die Spalten "nrOfPictures" (Fehler beim Crawlen dokumentiert in Kaggle) und "abtest" gelöscht, da diese Spalten keinen Mehrwert für die nachfolgenden Analysen generieren und somit ebenfalls nicht benötigt werden.

Codebeschreibung: Ausprägungen der Spalte anzeigen lassen: 12 Gesuche sind zu entfernen

df_carData["offerType"].value_counts()

Angebot    371516
Gesuch     12    
Name: offerType, dtype: int64

df_carData = df_carData[df_carData.offerType != "Gesuch"]

Bereinigung des Datensatzes um gewerbliche Anbieter aufgrund von Fokus der Analyse:

df_carData["seller"].value_counts()

privat        371513
gewerblich    3     
Name: seller, dtype: int64

df_carData = df_carData[df_carData.seller != "gewerblich"]

Löschen der zuvor genannten Spalten (delete the columns without having to reassign (inplace))

df_carData.drop(['nrOfPictures', 'seller', 'offerType',
                 'abtest'], axis=1, inplace=True)

print(df_carData.shape)

(371513, 19)

Der Datensatz wurde somit auf 371513 Datensätze mit 16 Attributen reduziert.

Bei der Sichtung der Daten ist auffällig, dass viele PKW zum Preis 0 EUR Angeboten werden und bei den angeboten weiterhin Begriffe wie Suche, Ankauf, Tausch, Schenkung, (und weitere) auftauchen. Schaut man sich dies genauer ist, so ist das zu einem großen Anteil mit dem Preis 0-100 EUR verbunden. Daher werden zunächst alle Datensätze mit dem Preis <100 EUR gelöscht. Das Gleiche ist am anderen Ende der Preisspanne zu beobachten, sodass eine große Anzahl nicht ernstgemeinter oder unseriöser Angebote in großen Höhen zu beobachten ist. Daher werden ebenfalls alle Angebote mit Preisen >500.000 EUR gelöscht. Anschließend wird der Datensatz gezielt nach Suchbegriffen, die eindeutig auf kein hier zu verwendendes Angebot verweisen, gefiltert und bereinigt:

df_carData = df_carData[df_carData.price >= 100]

df_carData = df_carData[df_carData.price < 500000]

df_carData

Die Spalte Name wird in Kleinbuchstaben umgewandelt und dann entsprechende Datensätze mit den Suchbegriffen gelöscht:

df_carData = df_carData.apply(
    lambda x: x.str.lower() if(x.dtype == 'object') else x)

df_carData = df_carData[~df_carData.name.str.contains("such")]
df_carData = df_carData[~df_carData.name.str.contains("ankauf")]
df_carData = df_carData[~df_carData.name.str.contains("tausch")]
df_carData = df_carData[~df_carData.name.str.contains("abholung")]
df_carData = df_carData[~df_carData.name.str.contains("schlacht")]
df_carData = df_carData[~df_carData.name.str.contains("schenk")]

Kurzer Einblick in den Datensatz:

df_carData["name"].value_counts().head(10)

opel_corsa             777
ford_fiesta            745
bmw_318i               629
volkswagen_golf_1.4    605
renault_twingo         560
bmw_316i               525
bmw_320i               493
volkswagen_polo        490
opel_corsa_b           484
ford_focus             438
Name: name, dtype: int64

Test, ob Löschung vollzogen:

df_carData.loc[df_carData['name'] == "tausch"]

Zählen der Datensätze im DF:

print(df_carData.shape)

(351858, 19)

Einbinden von Geodaten Autokonzerne und Markenlogos¶

Zunächst wird die Spalte "postalCode" aus dem carData Dataframe extrahiert und in ein neues Dataframe geschrieben.

df_carData_postalCode = pd.DataFrame(df_carData['plz'].unique(),  columns=['plz']) 
df_carData_postalCode.head()

Im Anschluss daran wird das anfangs eingelesene Dataframe "df_postalCodeInfo" mit dem soeben erstellen Dataframe zusammengeführt und bei Einwohnern die Nachkommastellen entfernt.

df_locationData = df_carData_postalCode.merge(df_postalCodeInfo, on='plz')

print(df_locationData.head())
print("--------")
print(df_locationData.shape)

     plz  #loc_id        lon        lat                Ort  einwohner  \
0  70435  9703     9.159157   48.830653  Stuttgart          206.0       
1  66954  9414     7.564295   49.202121  Pirmasens          10417.0     
2  90480  11724    11.132551  49.447293  Nürnberg           18393.0     
3  91074  11774    10.878277  49.572095  Herzogenaurach     22222.0     
4  60437  9033     8.678966   50.199217  Frankfurt am Main  3123.0      

          Bundesland  
0  Baden-Württemberg  
1  Rheinland-Pfalz    
2  Bayern             
3  Bayern             
4  Hessen             
--------
(8126, 7)

df_locationData.style.format({
    'einwohner': '{:.0f}'.format
})

Abschließend werden für dieses DF ebenfalls die NaN-Werte geprüft und ggf. gelöscht.

df_locationData.head()

df_locationData.isna().sum()

plz           0 
#loc_id       0 
lon           0 
lat           0 
Ort           0 
einwohner     66
Bundesland    34
dtype: int64

df_locationData = df_locationData[pd.notnull(df_locationData['einwohner'])]

print(df_locationData.shape)
print("-------------")
print(df_locationData.isna().sum())

(8060, 7)
-------------
plz           0
#loc_id       0
lon           0
lat           0
Ort           0
einwohner     0
Bundesland    0
dtype: int64

Erstellung von analysefähigen Dataframes¶

Bei der Sichtung der Daten ist ebenfalls aufgefallen, dass es sich bei der vorliegenden Analyse bei Ebay Kleinanzeigen um einen sehr heterogenen Markt handelt, in dem Privatpersonen so ziemlich alles rund um das Auto anbieten. Neben Scheinangeboten und Angeboten, bei denen es sich nicht um einen zu verkaufenden PKW handelt, gibt es auch Nonsens-Angebote, da auf dieser Plattform scheinbar keine Prüfprozesse der Angebote stattfinden (es kann jeder schreiben, was er will). Für eine statistische Analyse muss die Reliabilität der Daten erhöht werden und die wahren Angebote von dem Rest getrennt werden. Da die Kontrolle jedes einzelnen Datensatzes zu aufwendig wäre, werden in diesem Assignment analysefähige Dataframes erstellt, bei denen Bereiche abgesteckt werden, in denen eine hohe Zahl an wahren Angeboten zu finden ist.

Zu diesem Zweck werden zunächst alle Angebote vor 1945 gelöscht. Hierbei handelt es sich lediglich um 138 Datensätze, die zum Teil nicht seriös erscheinen. Für eine Oldtimeranalyse steht daher der Zeitraum 1945-1985 zur Verfügung.

Der aktuelle Fokus von Käufern im Gebrauchtwagenmarkt dürfte aber auf normalen PKW (keine H-Kennzeichen) liegen. Ausgehend vom Analysedatum 2016 liegt der Markt für solche Fahrzeuge zwischen 1986 und 2015. Das Jahr 2016 wird in der Analyse ausgeklammert, da die Sichtung dieser Daten ergab, dass mit dieser Jahreszahl Autos angeboten werden, die deutlich teilweise älter sind, bspw. weit mehr als 30.000 Kilometer haben. Somit scheint das neue Zulassungsdatum des Angebots in vielen Fällen von Verkäufern genutzt zu werden, um Aufmerksamkeit zu erregen und nicht eine wahre Angabe zu machen.

Im nun Folgenden werden drei DFs programmiert. Zunächst werden im df_allCars die Attribute der anderen Datensätze ergänzt und anschließend ein Datensatz für Oldtimer und einer für normale PKW gebildet.

Selektion der PKW mit Zulassungsdatum zwischen 1945 und 2016:

df_allCars = df_carData[(df_carData.yearOfRegistration >= 1945) &
                        (df_carData.yearOfRegistration <= 2015)]

Verbindung des df_allCars mit df_locationData und df_companies¶

In diesem Abschnitt werden die erzeugten DFs "zusätzliche Daten" zusammengeführt und ein DF mit allen Attributen erzeugt. Zunächst werden die Verkäufe mit der locationData verbunden. Anschließend werden auch die Konzerne eingespielt.

Merge mit df_locationData:¶

Überprüfung ob alle PLZ in beiden Datensätzen vorhandeln sind

df_allCars['plz'].isin(df_locationData['plz']).value_counts()

True     329081
False    481   
Name: plz, dtype: int64

Welche Postleitzahlen sind unterschiedlich?

#set(df_allCars.plz).difference(set(df_locationData.plz))

Merge LocoationData mit DF_allCars:

df_allCarsLocation = pd.merge(
    df_allCars, df_locationData, on='plz', how='left')
df_allCarsLocation.head()

Einbindung der Markenlogos¶

Codebeschreibung:

Der nachfolgende Code basiert auf der in Assignment 4 eingesetzten Library "BeautifulSoup"

Laden der Libraries
Festlegen der Webseite, die gecrawlt werden soll
Code zu Extraktion der Markenlogos von der Webseite

# pip install beautifulsoup4 if it is not already in your environment
from bs4 import BeautifulSoup
import requests
import glob
import random
import base64

from PIL import Image
from io import BytesIO
from IPython.display import Image, HTML

companies_url = "http://www.auto-motor-und-sport.de/Marken-modelle/"
r = requests.get(companies_url)

relIMG = "./company-images/"
soupAddress=BeautifulSoup(r.text,"html.parser")
images = soupAddress.findAll('img', alt=True)
df_companies['image_url'] = ''

for image in images:

    companyName = image['alt'].lower().split(' ', 1)[0]
    logo_url = image['src']
    
    if companyName != '':
        df_companies['image_url'] = np.where(df_companies['brand'].str.contains(companyName), logo_url, df_companies['image_url'],)

df_companies.head()

Im Anschluss daran erstellen lassen wir das Dataframe und deren Images anzeigen. Hierfür konnten wir folgende Quelle als Hilfsmittel verwenden:

- Quelle: https://stackoverflow.com/questions/46107348/how-to-display-image-stored-in-pandas-dataframe

from IPython.display import Image, HTML

df_companies['image_url'] = df_companies['image_url']\
    .str.replace(
        '(.*)',
        '<img src="\\1" style="max-height:124px;"></img>'
)
with pd.option_context('display.max_colwidth', 10000):
    HTML(df_companies.to_html(escape=False))

pd.set_option('display.max_colwidth', -1)


def get_thumbnail(path):
    i = Image.open(path)
    i.thumbnail((150, 150), Image.LANCZOS)
    return i


def image_base64(im):
    if isinstance(im, str):
        im = get_thumbnail(im)
    with BytesIO() as buffer:
        im.save(buffer, 'jpeg')
        return base64.b64encode(buffer.getvalue()).decode()


def image_formatter(im):
    return f'<img src="data:image/jpeg;base64,{image_base64(im)}">'

HTML(df_companies.to_html(formatters={'image': image_formatter}, escape=False))

Überprüfen ob die eingelesenen Konzernnamen auch mit den Konzernnamen im carData Datensatz übereinstimmen:

df_allCarsLocation['brand'].isin(df_companies['brand']).value_counts()

True     326773
False    2789  
Name: brand, dtype: int64

2833 Datensätze können nicht zusammengeführt werden. Um welche Datensätze handelt es sich?

set(df_allCarsLocation.brand).difference(set(df_companies.brand))

{'sonstige_autos'}

Merge DF "allCarsLocation" mit DF "Companies":

df_usedCarsAnalysis = pd.merge(
    df_allCarsLocation, df_companies, on='brand', how='left')
df_usedCarsAnalysis.head()

Fehlende Werte lokalisieren (NaN-Werte):

df_usedCarsAnalysis.isna().sum()

dateCrawled            0   
name                   0   
price                  0   
vehicleType            0   
yearOfRegistration     0   
gearbox                0   
powerPS                0   
model                  0   
kilometer              0   
monthOfRegistration    0   
fuelType               0   
brand                  0   
notRepairedDamage      0   
dateCreated            0   
plz                    0   
lastSeen               0   
offerTime              0   
year_crawled           0   
month_crawled          0   
#loc_id                483 
lon                    483 
lat                    483 
Ort                    483 
einwohner              483 
Bundesland             483 
company                2789
image_url              2789
dtype: int64

Insgesamt stehen für 483 Datensätze keine Geodaten zur Verfügung. Diese Datensätze werden ebenfalls gelöscht:

df_usedCarsAnalysis.dropna(subset=['Ort'], inplace=True)

Dataframe oltimerCars und normalCars¶

Nachstehend werden noch die zwei ausstehenden DFs programmiert:

Oldtimer zwischen 01.01.1945 und 31.12.1985

df_oldtimerCars = df_usedCarsAnalysis[(df_usedCarsAnalysis.yearOfRegistration >= 1945) & (
    df_usedCarsAnalysis.yearOfRegistration < 1986)]
#df_oldtimerCars.head()

Normale PKW mit einem Erstzulassungsdatum zwischen 01.01.1986 und 31.12.2015

df_normalCars = df_usedCarsAnalysis[(df_usedCarsAnalysis.yearOfRegistration >= 1986) & (
    df_usedCarsAnalysis.yearOfRegistration <= 2015)]
# df_oldtimerCars.head()

Exkurs Database¶

Zur Einbindung einer Datenbank wurde an dieser Stelle überlegt, die Dataframes in eine MongoDB einzubinden oder diese in eine Azure-Cloud-Umgebung zu legen. Dazu wurde die nachfolgende Programmierung vorgenommen und die Einbindung einer solchen Database erfolgreich getestet. Wir können somit an dieser Stelle einen erfolgreichen PoC aufzeigen.

Beim Laden der Daten wurde allerdings festgestellt, dass im Rahmen dieser Aufgabe ein Transfer in Azure zu zeitaufwendig ist. Das rechnen von lokal gespeicherten Dataframes ist viel schneller und effizienter. Mit diesem Abschnitt soll daher eine nur das Vorgehen beim Einbinden einer Datenbank aufgezeigt werden.

Im Ordner 'exkurs' findet sich zusätzlich der Code, welche den Aufbau zu einer Cosmos DB(Mongo Api) beinhaltet.

Wir bitten zu beachten, dass beide Datenbanken aus Kostengründen abgeschaltet wurden. Sollte hier eine aktive Verbindung benötigt werden, melden sie sich bitte bei uns.

Zunächst wird der Datenbanktreiber nach Microsoft Best-Practice geladen:

https://docs.microsoft.com/de-de/sql/connect/odbc/linux-mac/installing-the-microsoft-odbc-driver-for-sql-server?view=sql-server-2017

Im Anschluss wird ein Select Befehl ausgeführt, welcher uns die aktuelle Server-Version zurückgibt. Somit können wir feststellen, dass eine Verbindung zur Azure Datenbank erfolgreich hergestellt werden kann.

import pyodbc
server = 'datascience-assignment.database.windows.net'
database = 'datascience-db'
username = 'datascience-admin'
password = 'Assignment5'
driver = '{ODBC Driver 17 for SQL Server}'
cnxn = pyodbc.connect('DRIVER='+driver+';SERVER='+server +
                      ';PORT=1433;DATABASE='+database+';UID='+username+';PWD=' + password)
cursor = cnxn.cursor()
cursor.execute("SELECT @@version;")
row = cursor.fetchone()
while row:
    print(row[0])
    row = cursor.fetchone()

Im Anschluss daran werden wir erneut den Datenbanktreiber initialisieren, jedoch auf der Basis von sqlalchemy. Dieses Plugin ermöglicht uns einfachere Operationen mit der Datenbank.

from sqlalchemy import create_engine
import urllib
import pyodbc
import pandas as pd

quoted = urllib.parse.quote_plus(
    r"Driver={ODBC Driver 17 for SQL Server};Server=tcp:datascience-assignment.database.windows.net,1433;Database=datascience-db;Uid=datascience-admin@datascience-assignment;Pwd=Assignment5;Encrypt=yes;TrustServerCertificate=no;Connection Timeout=30;")
engine = create_engine('mssql+pyodbc:///?odbc_connect={}'.format(quoted))

engine.echo

Nun können die 3 Dataframes (df_companies, df_locationData, df_allCars) bequem in die Datenbank als sogenannte Tabellen geschrieben wernden:

Reset index, for inserting into Azure SQL database

t_offer = df_allCars.reset_index()

Transfer df_allCars zur Azure Database:

if not engine.has_table("t_company"):
    df_companies.to_sql(name='t_company',
                     index_label='index', con=engine, index=False)
    print('Table created')
else:
    print("table already exists")

#Insert df_locationData into Azure database
if not engine.has_table("t_location"):
    df_locationData.to_sql(name='t_location', 
                      index_label='index', con=engine, index=False)
    print('Table created')
else:
    print("table already exists")

table already exists

#Insert df_locationData into Azure database
if not engine.has_table("t_offer"):
    t_offer.to_sql(name='t_offer', index=True, index_label='index', con=engine)
    print('Table created')
else:
    print("table already exists")

table already exists

Dies Abbildung stammt aus dem Microsoft Azure Online Portal und zeigt an, wie die CPU-Auslastung während der Schreibvorgänge verteilt aussah.

Bildschirmfoto%202019-09-07%20um%2008.41.31.png

Zum Abschluss lesen wir die Locationdaten welche wir weiter oben in die Datenbank geschrieben haben, wieder aus, und importieren diese in ein Dataframe.

Check ob auf die Daten der neuen Tabelle zugegriffen werden kann:

with engine.connect() as conn, conn.begin():
    data = pd.read_sql_table('t_location', conn)

data.head()

Abschließende Abbildung veranschaulicht die Data Preparation:

Dataprep%20Used%20Cars%20Analysis.png

Analyse des Marktes¶

In diesem Abschnitt wird eine deskriptive statistische Anaylse durchgeführt.

Marktcharakteristika¶

Zunächst werden die Marktcharakteristika berechnet und visualisiert.

Welche Automobil-Marken gibt es im Gebrauchtwagenmarkt?¶

(Verteilung bei normalen Fahrzeugen und Oldtimern)

Nachfolgend werden die zwei Dataframes mit der value.counts und print Funktion ausgegeben.

print('Normale Fahrzeuge:')
print()
print(df_normalCars['brand'].value_counts().head(10))
print('-----------------')
print()
print('Oldtimer:')
print()
print(df_oldtimerCars['brand'].value_counts().head(10))

Normale Fahrzeuge:

volkswagen       68123
bmw              36160
opel             34072
mercedes_benz    31254
audi             29645
ford             22060
renault          15338
peugeot          9956 
fiat             8168 
seat             6151 
Name: brand, dtype: int64
-----------------

Oldtimer:

volkswagen        1187
mercedes_benz     1040
sonstige_autos    833 
opel              470 
ford              416 
bmw               278 
porsche           243 
fiat              239 
trabant           176 
chevrolet         174 
Name: brand, dtype: int64

Ergebnisse:

Volkswagen ist in beiden Dfs die Marke mit den meisten PKW im Markt.
Die Häufigkeiten und die Häufigkeitsverteilung der Marken unterscheidet sich deutlich zwischen den beiden DFs.

Die Visualisierung der Ergebnisse mit matplotlib als Bar-Chart erhält man mit dem folgdenden Code (zunächst normale PKW und dann Oldtimer):

df_normalCars['brand'].value_counts().plot(
    kind="bar", figsize=(15, 5), title="frequency of cars")

<matplotlib.axes._subplots.AxesSubplot at 0x13e6b9470>

df_oldtimerCars['brand'].value_counts().plot(
    kind="bar", figsize=(15, 5), title="frequency of cars")

<matplotlib.axes._subplots.AxesSubplot at 0x13e690908>

Wie stellt sich die Verteilung der Marktanteile in Bezug auf Marken und Automobilkonzerne dar?¶

Zunächst werden die Häufigkeiten und Marktanteile in Bezug auf Marken bei normalen PKW dargestellt:

Codebeschreibung:

Zählen der groupierten Variablen (Autos einer Marke).
Erstellen einer Pivottabelle mit pd.concat
Summieren der gesamten Counts und Formel zur Berechnung des Anteils einer Marke.

df_normalCarsCount = np.round(df_normalCars.groupby(
    ['company', "brand"])["name"].count())

df_normalCarsPivot = pd.concat([df_normalCarsCount], axis=1)
df_normalCarsPivot.columns = ['Count']
df_normalCarsPivot['Count'].value_counts
Total = df_normalCarsPivot['Count'].sum()
df_normalCarsPivot['Anteil'] = df_normalCarsPivot['Count'] / Total * 100
df_normalCarsPivot

Visualisierung der Ergebnisse mit matplotlib als Bar-Chart.

df_normalCarsPivot[["Anteil"]].plot(kind="bar",stacked=True, figsize=(15,5),color=["g"],title="Share of different automotive brands")

<matplotlib.axes._subplots.AxesSubplot at 0x13e646048>

Im Anschluss werden die Häufigkeiten und Marktanteile in Bezug auf Marken bei Oldtimern dargestellt:

df_oldtimerCarsCount = np.round(
    df_oldtimerCars.groupby(['company', "brand"])["name"].count())

df_oldtimerCarsPivot = pd.concat([df_oldtimerCarsCount], axis=1)
df_oldtimerCarsPivot.columns = ['Count']
df_oldtimerCarsPivot['Count'].value_counts
Total2 = df_oldtimerCarsPivot['Count'].sum()
df_oldtimerCarsPivot['Anteil'] = df_oldtimerCarsPivot['Count'] / Total2 * 100
df_oldtimerCarsPivot

Visualisierung der Ergebnisse mit matplotlib als Bar-Chart.

df_oldtimerCarsPivot[["Anteil"]].plot(kind="bar", stacked=True, figsize=(
    15, 5), color=["m"], title="Share of different automotive oldtimer brands")

<matplotlib.axes._subplots.AxesSubplot at 0x13e5c5a20>

Relative Häufigkeiten normale PKW in Bezug auf Automobil-Konzernen:

df_normalCarsKonzernCount = np.round(
    df_normalCars.groupby(['company', ])["name"].count())

df_normalCarsKonzernPivot = pd.concat([df_normalCarsKonzernCount], axis=1)
df_normalCarsKonzernPivot.columns = ['Count']
df_normalCarsKonzernPivot['Count'].value_counts
Total = df_normalCarsKonzernPivot['Count'].sum()
df_normalCarsKonzernPivot['Anteil'] = df_normalCarsKonzernPivot['Count'] / Total * 100
df_normalCarsKonzernPivot

Relative Häufigkeiten bei Oldtimern in Bezug auf Automobil-Konzerne:

df_oldtimerCarsKonzernCount = np.round(
    df_oldtimerCars.groupby(['company', ])["name"].count())
#df_normalCarsRelCount = np.percentile(df_normalCarsCount)

df_oldtimerCarsKonzernPivot = pd.concat([df_oldtimerCarsKonzernCount], axis=1)
df_oldtimerCarsKonzernPivot.columns = ['Count']
df_oldtimerCarsKonzernPivot['Count'].value_counts
Total = df_oldtimerCarsKonzernPivot['Count'].sum()
df_oldtimerCarsKonzernPivot['Anteil'] = df_oldtimerCarsKonzernPivot['Count'] / Total * 100
df_oldtimerCarsKonzernPivot

Preisstatistiken¶

Alle Marken/normale Autos: Was ist der minimale Preis, was der maximale Preis einer Marke? Wo liegt das arithmetische Mittel und der Median?

Codebeschreibung:

Ausrechnen von min, max, mean, median (jeweils als DF) und Abspeichern als DF (df_StatsPriceNormalCars)
Tabelle mit Spalten anlegen

df_normalCarsMin = df_normalCars.groupby(by="brand")["price"].min()
df_normalCarsMax = df_normalCars.groupby(by="brand")["price"].max()
df_normalCarsMean = np.round(df_normalCars.groupby(by="brand")["price"].mean())
df_normalCarsMedian = np.round(
    df_normalCars.groupby(by="brand")["price"].median())

df_StatsPriceNormalCars = pd.concat(
    [df_normalCarsMin, df_normalCarsMax, df_normalCarsMean, df_normalCarsMedian], axis=1)
df_StatsPriceNormalCars.columns = ['Min', 'Max', 'Mean', 'Median']

df_StatsPriceNormalCars

Visualiserung mittels line chart:

from matplotlib import pyplot as plt
%matplotlib inline
df_StatsPriceNormalCars[["Mean", "Median"]].plot(figsize=(20, 8), grid=True)
plt.show()

Mittelwert und Median unterscheiden sich. Die Verteilung ist links-schief. Dies ist ein Indiz, dass die Preise nicht normalverteilt sind.

Kilometerstatistiken¶

Alle Marken/normale Autos: Was sind die minimalen und die maximalen Kilometer eines Fahrzeugs bei einer Marke? Wo liegt das arithmetische Mittel und der Median?

df_normalCarsKilMin = df_normalCars.groupby(by="brand")["kilometer"].min()
df_normalCarsKilMax = df_normalCars.groupby(by="brand")["kilometer"].max()
df_normalCarsKilMean = np.round(
    df_normalCars.groupby(by="brand")["kilometer"].mean())
df_normalCarsKilMedian = np.round(
    df_normalCars.groupby(by="brand")["kilometer"].median())

df_StatsKilometerPriceNormalCars = pd.concat(
    [df_normalCarsKilMin, df_normalCarsKilMax, df_normalCarsKilMean, df_normalCarsKilMedian], axis=1)
df_StatsKilometerPriceNormalCars.columns = ['Min', 'Max', 'Mean', 'Median']

df_StatsKilometerPriceNormalCars

from matplotlib import pyplot as plt
%matplotlib inline
df_StatsKilometerPriceNormalCars[["Mean", "Median"]].plot(
    figsize=(20, 8), grid=True)
plt.show()

Aufgrund der Residualgröße 150.000 Kilometer und mehr, die auch gleichzeitig die größte Merkmalsausprägung bei Kilometern ist, liegt der arithmetische Mittelwert in der Regel unter dem Mittelwert. Die Verteilung nach Kilometern ist nicht normalverteilt und rechts-schief. Bei einer Regression könnte diese Ausprägung ausgeklammert werden, um einen besseren Datensatz zu erhalten.

Korrelationen - welche Variablen haben einen Einfluss auf den Preis?¶

Die sicherlich interessanteste Frage, die es zu beantworten gilt, ist, welche Attribute des Datensatzes wirken sich auf den Angebotspreis aus? Diese Frage kann mit einer Korrelationsanalyse aufgegriffen werden. In dieser Arbeit wird eine Korrelation nach Pearson berechnet. Im erzeugten DF gibt es drei metrische Variablen, die auf den Preis eine Wirkung haben könnten (alle anderen müssen in diesem ersten Schritt aus der Betrachtung herausgenommen werden): kilometer, yearOfRegistration, powerPS

Die Korrelationsmatrix wird durch den nachfolgenden Programmcode ausgeführt und hat folgendes Ergebnis:

Kilometer haben einen mittleren negativen Einfluss auf den Preis.
Je jünger das Zulassungsjahr, desto höher der Preis. Dieser Zusammenhang befindet sich ebenfalls auf einem mittleren Niveau.
Die höher der PS hat einen schwach positiven Zusammenhang mit dem Angebotspreis.

Normale PKW:

Funktion zum Ausrechnen Korrelationen mit metrischer Variablen:

df_corrNormalCars = df_normalCars[[
    'price', 'kilometer', 'yearOfRegistration', 'powerPS']]
df_corrNormalCars = df_corrNormalCars.corr(method='pearson')
df_corrNormalCars

Mit diesen Variablen kann nun eine Regressionsanalyse durchgeführt werden. Fraglich ist, wie gut diese Variablen den Angebotspreis erklären werden. Um die Güte einer Regression zu erhöhen, sollte überlegt werden, weitere Variablen in die Korrelationsanalyse aufzunehmen. Dies ist möglich, indem kategoriale oder ordinal-skalierte Variabelen in Dummy-Variablen umgerechnet werden. In diesem Datensatz können die nominalskalierten Variablen gearbox, fuelType, model, brand, vehicleType in Dummy-Variablen umgerechnet werden:

Einsatz von Dummy-Variablen bei normalen PKW:

trainDfDummiesNormalCars = pd.get_dummies(
    df_normalCars, columns=['gearbox', 'fuelType', 'model', 'brand', 'vehicleType'])
trainDfDummiesNormalCars.head(5)

Mit diesen Dummy-Variablen kann eine größere Korrelationsmatrix gerechnet werden. Zur besseren Veranschaulichung werden hier nur gearbox und fuelType in die Berechnung einbezogen.

Korrelationen mit ausgewählten Dummy-Variablen bei normalen PKW

df_corrNormalCars2 = trainDfDummiesNormalCars[['price', 'kilometer', 'yearOfRegistration',
                                               'powerPS', 'gearbox_automatik', 'gearbox_manuell', 'fuelType_benzin', 'fuelType_diesel']]

df_corrNormalCars2 = df_corrNormalCars2.corr(method='pearson')
df_corrNormalCars2

Die Korrelationsmatrix hat folgendes Ergebnis:

Kilometer haben weiterhin einen mittleren negativen Einfluss auf den Preis.
Je jünger das Zulassungsjahr, desto höher der Preis. Dieser Zusammenhang befindet sich ebenfalls auf einem mittleren Niveau.
Die höher der PS hat einen schwach positiven Zusammenhang mit dem Angebotspreis.

Neu:

Automatikgetriebe haben einen schwach-positiven Einfluss.
Manuelle Getriebe haben einen schwach-negativen Einfluss.
Benzinmotoren wirken sich schwach-negativ auf den Preis aus.
Dieselmotoren wirken sich schwach-positiv auf den Preis aus.

Weitere Korrelationsanalysen sich auch bei Oldtimer möglich und werden nach dem gleichen Schema wie zuvor bei normalen PKW durchgeführt:

df_corrOldtimerCars = df_oldtimerCars[[
    'price', 'kilometer', 'yearOfRegistration', 'powerPS']]
df_corrOldtimerCars = df_corrOldtimerCars.corr(method='pearson')
df_corrOldtimerCars

trainDfDummiesOldtimerCars = pd.get_dummies(df_oldtimerCars, columns=['gearbox', 'fuelType','model', 'brand', 'vehicleType'])
trainDfDummiesOldtimerCars.head(5)

df_corrOldtimerCars2 = trainDfDummiesOldtimerCars [['price','kilometer','yearOfRegistration','powerPS','gearbox_automatik','gearbox_manuell', 'fuelType_benzin', 'fuelType_diesel']]
#del df_corr2['monthOfRegistration']
df_corrOldtimerCars2 = df_corrOldtimerCars2.corr(method='pearson')
#df_corrNormalCars2['price']
df_corrOldtimerCars2

Die Analyse der Korrelationen bei Oldtimern kommt zu einem anderen Ergebnis, als die bei normalen PKW. So sind alle Zusammenhänge insgesamt auf einem schwächeren Niveau. Am interessantesten ist der Einfluss des Zulassungsjahr auf den Angebotspreis. Hier gibt es im Vergleich zu normalen PKW einen umgekehrten Einfluss, sodass ein älteres Zulassungsjahr einen positiven Einfluss auf den Angebotspreis hat.

Visualisierungen mit OpenStreetMap¶

Zum Abschluss möchten wir uns noch verschiedene Visualisierungen in Bezug auf den Gebrauchtwagenmarkt ansehen. Diese Visualisierungen erfolgen in OpenStreetMap.

Nachdem diese Darstellung nicht mit dem Plugin 'gmplot' implementiert werden konnte, haben wir uns für die bessere Alternative 'folium' entschieden.

Für die Implementierung wurden unter anderem die folgenden Artikel zu Hilfe gezogen:

Im nachfolgenden Code-Chunk wird 'folium' installiert bzw. implementiert.

#!pip install folium
import folium 
import webbrowser

Gebrauchtwagenangebotsdichte¶

Zuerst möchten wir mittels einer HeatMap den Gebrauchtwagenmarkt in Deutschland darstellen.

Im ersten Schritt erfolgt die Funktionsdefinition zur Initialisierung einer openStreetMap. Die Location-Parameter wurden bewusst ausgewählt und befinden sich in der Mitte von Deutschland.

def generateBaseMap(default_location=[51.1642292, 10.4541194], default_zoom_start=6):
    base_map = folium.Map(location=default_location, control_scale=True, zoom_start=default_zoom_start)
    return base_map

Danach erfolgt die Initialisierung der Map. Anhand der Lokation- und Count-Daten des Dataframes 'df_usedCarsAnalysis' wird die Heatmap gebildet.

from folium.plugins import HeatMap
df_usedCarsAnalysis['count'] = 1
base_map = generateBaseMap()
HeatMap(data=df_usedCarsAnalysis[['lat', 'lon', 'count']].groupby(['lat', 'lon']).sum().reset_index().values.tolist(), radius=8, max_zoom=13).add_to(base_map)
base_map.save('./html/allCars_Heatmap.html')
base_map

Aus der hier dargestellten Heatmap lässt sich erkennen, dass die Gebrauchtwagenangebotsdichte vor allem im Südwesten Deutschlands weitaus höher ist, als beispielsweise im Nordosten Deutschlands.

Nun möchten wir ein Schritt weiter gehen und analysieren, wie eine Heatmap in Bezug auf das Erstzulassungsjahr (yearOfRegistration) aussehen könnte. Hierzu wird eine interaktive Karte gebildet und mit einer Zeitschiene versehen.

Deshalb wird eine Liste aus den Location-Daten sowie deren Count gebildet.

df_year_list = []
for year in df_usedCarsAnalysis.yearOfRegistration.sort_values().unique():
    df_year_list.append(df_usedCarsAnalysis.loc[df_usedCarsAnalysis.yearOfRegistration == year, ['lat', 'lon', 'count']].groupby(['lat', 'lon']).sum().reset_index().values.tolist())

Damit der Zeitstrahl (Timeslider) auch die korrekten Werte enthält und nicht einen Index von 0-x hochzählt, wird der Listenindex von 'df_year_list' mit dem frühesten Erstzulassungsjahr (1945) mittels einer List-Comprehension berechnet.

time_index = [(1945+x)  for x in range(len(df_year_list))]

Der soeben erstelle 'time_index' wird anschließend mit erstellten 'df_year_list' und den restlichen benötigten Parametern implementiert und anschließend als .html abgespeichert.

from folium.plugins import HeatMapWithTime
base_map = generateBaseMap(default_zoom_start=6)
HeatMapWithTime(df_year_list, 
                radius=5, 
                index=time_index,
                gradient={0.2: 'blue', 0.4: 'lime', 0.6: 'orange', 1: 'red'}, 
                min_opacity=0.5, max_opacity=0.8, 
                use_local_extrema=True).add_to(base_map)
base_map.save('./html/allCars_perYear.html')

Ladas in Deutschland¶

Zunächst werden hierfür aus dem aufbereiteten ''df_usedCarsAnalysis' lediglich alle Ladas extrahiert und in einem neuen Pandas Dataframe gespeichert.

df_ladas = df_usedCarsAnalysis[(df_usedCarsAnalysis.brand == 'lada')]
df_ladas = df_ladas.reset_index()

Die Kreise, welche später als Markierung in der Map dienen, sollen in drei unterschiedlichen Größen gezeichnet werden. Hierzu ist es notwendig, eine neue Spalte in 'df_ladas' anzulegen, in welcher die enthaltenen Preise in drei verschiedene Kategorien geclustert werden.

Danach erfolgt mittels der 'replace'-Funktion das Ersetzen der zuvor erstellten Kategorien. Aus den Kategorien 0-2 werden die Kategorien 1-3, um diese später zur Multiplikation zur Festlegung des Kreisdurchmessers verwenden zu können.

Kategorie 1: 187.20, - 4132.667 Euro
Kategorie 2: 4132.67 - 8066.333 Euro
Kategorie 3: 8066.33 - 12.000 Euro

df_ladas['price_q'] = pd.cut(df_ladas['price'], 3, labels=False)

df_ladas.replace({0: 1, 1: 2, 2: 3}, inplace=True)

df_ladas['price_q'].value_counts()

1    136
2    49 
3    8  
Name: price_q, dtype: int64

Im Anschluss daran wird die Map initialisiert in der Mitte von Deutschland initialisiert.

Zusätzlich wird eine Funktion implementiert, welche in der Lage ist, die normalen Autos von den Oldtimern farblich zu unterscheiden

lada_map = folium.Map(location=[51.1642292, 10.4541194], zoom_start=6)

def findColor(year):
    if year <= 1986:
        return 'red'
    elif year > 1986: 
        return 'green'

Für die Fertigstellung der Map ist es notwendig, mittels einer for-Schleife die Lokationen der Ladas zu setzen. Darüber hinaus wird mit der Variable 'radius' die Größe des Kreises festgelegt, währenddessen die Variable 'popup' die wichtigsten Informationen beim Klick auf den Kreis anzeigen kann und 'fill_color' die Funktion aufruft, welche bestimmt ob es sich um einen Oldtimer oder ein normales Auto handelt.

for lat, lon, price, name, year, km, price_q in zip(df_ladas['lat'], df_ladas['lon'], df_ladas['price'], df_ladas['name'], df_ladas['yearOfRegistration'], df_ladas['kilometer'], df_ladas['price_q']):
    folium.CircleMarker(
        [lat, lon],
        radius=2.5*price_q,
        popup = ('Name: ' + str(name).capitalize() + '<br>'
                 'Erstzulassungjahr: ' + str(year) + '<br>'
                 'Kilometer: ' + str(km) + '<br>'
                 'Preis: ' + str(price) + ' €'
                ),
        color='b',
        fill_color=findColor(year),
        fill=True,
        fill_opacity=0.7
        ).add_to(lada_map)
lada_map.save('./html/ladas.html')
lada_map

Fazit¶

Im Rahmen des Assignments haben wir die im Kurs Programming for Data Science gelernten und darüber hinaus gehende Funktionen in Python eingesetzt und einen Datensatz aus Kaggle zu privaten PKV-Verkäufen bearbeitet und analysiert.

Der Fokus dieses Assignments lag auf der Data Preparation mit dem Einbinden von Datenbanken und der Visualisierung von Ergebnissen. Darüber hinaus wurde eine statistische Analyse durchgeführt.

Folgende Meilensteine konnten bei der Programmierung in Python erreicht werden:

Data Preparation:

Datenaufbereitung
Einbinden von CSVs und Crawling-Ergebnissen
Einbinden von Microsoft SQL in der Azure Cloud
Erfolgreiche Verbindung zu Azure Cosmos DB (Mongo DB Api)

Deskriptive Statistik:

Häufigkeiten/relative Häufigkeiten
Korrelationsanalyse
Visualisierungen mit Marker (Folium)

Die Einarbeitung in Python hat im Rahmen des Kurses gut geklappt. Python ist eine schnell lernbare, intuitive Programmiersprache. Das Arbeiten mit Python hat Spaß gemacht.

Mit der Projektarbeit wurde die Grundlage für eine umfangreichere statistische Analyse mit dem erzeugten Datensatz gelegt. Zunächst kann die deskriptive Analyse ausgebaut und weitere Merkmale des Datensatzes untersucht werden. Anschließend eignet sich dieser Datensatz sehr gut für Verfahren der induktiven Statistik. In diesem Zusammenhang können folgende Analysen getätigt werden:

Vorhersage von Angebotspreisen
Berechnung des Wertverfalls von PKW

Eine weitere Idee ist die Programmierung einer App, die es Käufern ermöglicht, nach bestimmten Autos und Konfigurationen auf einer Landkarte zu suchen. Der Käufer kann dann zwischen den verschiedenen Angeboten wählen. Sobald der Käufer auf ein Auto in der Karte klickt, wird ihm zusätzlich die Entfernung von seinem Standort angezeigt sowie die Kosten berechnet, die für ihn bei Abholung des PKW von dem jeweiligen Standort entstehen würden.

	plz	Bundesland	Kreis	Typ
0	1067	Sachsen	Dresden	Stadt
1	1069	Sachsen	Dresden	Stadt
2	1097	Sachsen	Dresden	Stadt
3	1099	Sachsen	Dresden	Stadt
4	1108	Sachsen	Dresden	Stadt

	#loc_id	plz	lon	lat	Ort	einwohner	Bundesland
0	5078	1067	13.721068	51.060034	Dresden	11957.0	Sachsen
1	5079	1069	13.738907	51.039559	Dresden	25491.0	Sachsen
2	5080	1097	13.743967	51.066745	Dresden	14811.0	Sachsen
3	5081	1099	13.828980	51.092619	Dresden	28021.0	Sachsen
4	153646	1108	13.828980	51.092619	Dresden	5876.0	Sachsen

	dateCrawled	name	price	vehicleType	yearOfRegistration	gearbox	powerPS	model	kilometer	monthOfRegistration	fuelType	brand	notRepairedDamage	dateCreated	plz	lastSeen	offerTime	year_crawled	month_crawled
0	2016-03-24	Golf_3_1.6	480	-	1993	manuell	0	golf	150000	0	benzin	volkswagen	-	2016-03-24	70435	2016-04-07	14	2016	3
1	2016-03-24	A5_Sportback_2.7_Tdi	18300	coupe	2011	manuell	190	-	125000	5	diesel	audi	ja	2016-03-24	66954	2016-04-07	14	2016	3
2	2016-03-14	Jeep_Grand_Cherokee_"Overland"	9800	suv	2004	automatik	163	grand	125000	8	diesel	jeep	-	2016-03-14	90480	2016-04-05	22	2016	3
3	2016-03-17	GOLF_4_1_4__3TÜRER	1500	kleinwagen	2001	manuell	75	golf	150000	6	benzin	volkswagen	nein	2016-03-17	91074	2016-03-17	0	2016	3
4	2016-03-31	Skoda_Fabia_1.4_TDI_PD_Classic	3600	kleinwagen	2008	manuell	69	fabia	90000	7	diesel	skoda	nein	2016-03-31	60437	2016-04-06	6	2016	3
5	2016-04-04	BMW_316i___e36_Limousine___Bastlerfahrzeug__Export	650	limousine	1995	manuell	102	3er	150000	10	benzin	bmw	ja	2016-04-04	33775	2016-04-06	2	2016	4
6	2016-04-01	Peugeot_206_CC_110_Platinum	2200	cabrio	2004	manuell	109	2_reihe	150000	8	benzin	peugeot	nein	2016-04-01	67112	2016-04-05	4	2016	4
8	2016-04-04	Ford_C___Max_Titanium_1_0_L_EcoBoost	14500	bus	2014	manuell	125	c_max	30000	8	benzin	ford	-	2016-04-04	94505	2016-04-04	0	2016	4
9	2016-03-17	VW_Golf_4_5_tuerig_zu_verkaufen_mit_Anhaengerkupplung	999	kleinwagen	1998	manuell	101	golf	150000	0	-	volkswagen	-	2016-03-17	27472	2016-03-31	14	2016	3
10	2016-03-26	Mazda_3_1.6_Sport	2000	limousine	2004	manuell	105	3_reihe	150000	12	benzin	mazda	nein	2016-03-26	96224	2016-04-06	11	2016	3
11	2016-04-07	Volkswagen_Passat_Variant_2.0_TDI_Comfortline	2799	kombi	2005	manuell	140	passat	150000	12	diesel	volkswagen	ja	2016-04-07	57290	2016-04-07	0	2016	4
12	2016-03-15	VW_Passat_Facelift_35i__"7Sitzer"	999	kombi	1995	manuell	115	passat	150000	11	benzin	volkswagen	-	2016-03-15	37269	2016-04-01	17	2016	3
13	2016-03-21	VW_PASSAT_1.9_TDI_131_PS_LEDER	2500	kombi	2004	manuell	131	passat	150000	2	-	volkswagen	nein	2016-03-21	90762	2016-03-23	2	2016	3
14	2016-03-21	Nissan_Navara_2.5DPF_SE4x4_Klima_Sitzheizg_Bluetooth.Doppelkabine	17999	suv	2011	manuell	190	navara	70000	3	diesel	nissan	nein	2016-03-21	4177	2016-04-06	16	2016	3
15	2016-03-11	KA_Lufthansa_Edition_450_VB	450	kleinwagen	1910	-	0	ka	5000	0	benzin	ford	-	2016-03-11	24148	2016-03-19	8	2016	3
16	2016-04-01	Polo_6n_1_4	300	-	2016	-	60	polo	150000	0	benzin	volkswagen	-	2016-04-01	38871	2016-04-01	0	2016	4
17	2016-03-20	Renault_Twingo_1.2_16V_Aut.	1750	kleinwagen	2004	automatik	75	twingo	150000	2	benzin	renault	nein	2016-03-20	65599	2016-04-06	17	2016	3
18	2016-03-23	Ford_C_MAX_2.0_TDCi_DPF_Titanium	7550	bus	2007	manuell	136	c_max	150000	6	diesel	ford	nein	2016-03-23	88361	2016-04-05	13	2016	3
19	2016-04-01	Mercedes_Benz_A_160_Classic_Klima	1850	bus	2004	manuell	102	a_klasse	150000	1	benzin	mercedes_benz	nein	2016-04-01	49565	2016-04-05	4	2016	4
20	2016-04-01	Volkswagen_Scirocco_1.4_TSI_Sport	10400	coupe	2009	manuell	160	scirocco	100000	4	benzin	volkswagen	nein	2016-04-01	75365	2016-04-05	4	2016	4
21	2016-03-27	BMW_530i_TÜV_7/17_Scheckheftgepflegt_sehr_guter_Zustand	3699	limousine	2002	automatik	231	5er	150000	7	benzin	bmw	nein	2016-03-27	68309	2016-04-07	11	2016	3
22	2016-03-23	Opel_Meriva_1.Hand_TÜV_3.2018	2900	-	2018	manuell	90	meriva	150000	5	benzin	opel	nein	2016-03-23	49716	2016-03-31	8	2016	3
23	2016-03-12	Stadtflitzer	450	kleinwagen	1997	manuell	50	arosa	150000	5	benzin	seat	nein	2016-03-12	9526	2016-03-21	9	2016	3
24	2016-03-13	MERCEDES_200E__TÜV_04/2016	500	limousine	1990	manuell	118	andere	150000	10	benzin	mercedes_benz	ja	2016-03-13	35390	2016-03-13	0	2016	3
25	2016-03-18	BMW_530d_touring_Vollausstattung_NAVI	2500	kombi	2002	automatik	193	5er	150000	9	diesel	bmw	ja	2016-03-18	73765	2016-03-18	0	2016	3
26	2016-03-10	Citroen_C4_Grand_Picasso.	5555	-	2017	manuell	125	c4	125000	4	-	citroen	nein	2016-03-10	31139	2016-03-16	6	2016	3
27	2016-03-07	Honda_Civic_1.4_i_VTEC_Comfort	6900	limousine	2008	manuell	99	civic	60000	11	benzin	honda	nein	2016-03-07	12621	2016-03-26	19	2016	3
28	2016-03-09	Volkswagen_T3_andere	1990	bus	1981	manuell	50	transporter	5000	1	benzin	volkswagen	nein	2016-03-09	87471	2016-03-10	1	2016	3
29	2016-03-08	Fiat_Punto_1.2	690	kleinwagen	2003	manuell	60	punto	150000	3	benzin	fiat	nein	2016-03-08	86199	2016-03-09	1	2016	3
30	2016-04-03	Mercedes_Benz_E_250_D_Original_Zustand_!!	3300	limousine	1995	automatik	113	e_klasse	150000	1	diesel	mercedes_benz	nein	2016-04-03	53879	2016-04-05	2	2016	4
...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...
371497	2016-03-05	Opel_Astra_1.6_Caravan	4900	kombi	2008	manuell	116	astra	150000	2	benzin	opel	nein	2016-03-05	88213	2016-04-05	31	2016	3
371498	2016-03-11	Opel_Vectra_Edition_100	699	limousine	1999	manuell	101	vectra	150000	3	benzin	opel	-	2016-03-11	65936	2016-03-17	6	2016	3
371499	2016-03-08	OPEL_CORSA_B__ECO_SWING__TÜV_1/17_8fach_Bereifung/Schiebedach/CD	600	kleinwagen	1998	manuell	54	corsa	150000	1	benzin	opel	nein	2016-03-08	24850	2016-03-13	5	2016	3
371500	2016-03-21	Volkswagen_Golf_1.4_TSI_BlueMotion_Technology_DSG_Highline	20400	limousine	2014	automatik	150	golf	30000	9	benzin	volkswagen	nein	2016-03-21	38470	2016-04-07	17	2016	3
371501	2016-03-26	Chrysler_Voyager	3900	bus	2003	automatik	174	voyager	150000	7	benzin	chrysler	nein	2016-03-26	34320	2016-04-06	11	2016	3
371502	2016-04-01	Audi_A4_Avant_1.8	1600	kombi	1998	manuell	125	a4	150000	2	benzin	audi	nein	2016-04-01	34414	2016-04-07	6	2016	4
371503	2016-04-01	Subaru_Justy_1.3	1700	kleinwagen	1999	manuell	68	justy	70000	11	benzin	subaru	nein	2016-03-31	90439	2016-04-07	7	2016	4
371504	2016-03-07	220_cdi_Benz	2600	-	2005	automatik	0	c_klasse	150000	9	-	mercedes_benz	-	2016-03-07	61169	2016-03-08	1	2016	3
371505	2016-04-03	Opel_Astra_1.6_Caravan_Selection	800	kombi	2000	manuell	101	astra	150000	11	benzin	opel	ja	2016-04-03	58730	2016-04-05	2	2016	4
371506	2016-03-20	Volkswagen_Golf_1.9_TDI_DPF_Goal_Rentnerfzg._1.Hd.	5900	limousine	2006	manuell	105	golf	150000	9	diesel	volkswagen	nein	2016-03-20	1217	2016-04-07	18	2016	3
371507	2016-03-16	Gepflegter_Audi_a4_2.0tdi_xenon_ahk_klima_scheckheft...	5999	kombi	2005	manuell	140	a4	150000	4	diesel	audi	-	2016-03-16	56472	2016-03-18	2	2016	3
371508	2016-04-02	Opel_Astra_1.8	1400	limousine	2001	manuell	125	astra	150000	2	benzin	opel	nein	2016-04-02	23820	2016-04-06	4	2016	4
371509	2016-03-11	LT_35_DIESEL_Gruene_Plakette....letzte_Gelegenheit	1900	-	2000	manuell	110	-	150000	7	-	volkswagen	nein	2016-03-11	87700	2016-03-12	1	2016	3
371510	2016-03-06	Mercedes_benz_e_klasse_avangarde_220_cdi_grune_plakett	6500	limousine	2003	automatik	145	e_klasse	150000	3	diesel	mercedes_benz	nein	2016-03-05	60437	2016-03-12	7	2016	3
371511	2016-03-31	Audi_A3_1.8_T_Attraction	1999	limousine	1997	manuell	150	a3	150000	12	benzin	audi	nein	2016-03-31	4275	2016-04-06	6	2016	3
371512	2016-03-25	Mercedes_Benz_E_400_CDI_Avantgarde	5000	limousine	2003	automatik	260	e_klasse	150000	12	diesel	mercedes_benz	ja	2016-03-25	90473	2016-04-07	13	2016	3
371513	2016-03-21	Seat_Leon_1.9_TDI_4/5_Tueren	4400	limousine	2008	manuell	105	leon	150000	7	diesel	seat	nein	2016-03-21	45896	2016-04-06	16	2016	3
371514	2016-04-04	Renault_1_4_ltr.16_V_Megane_Cabrio	999	cabrio	2000	manuell	95	megane	150000	4	benzin	renault	-	2016-04-04	88477	2016-04-06	2	2016	4
371515	2016-03-09	Skoda_Fabia_Kombi_1.4	1690	kombi	2004	manuell	55	fabia	150000	4	benzin	skoda	-	2016-03-09	18246	2016-04-04	26	2016	3
371516	2016-04-04	Volkswagen_Lupo_1.0	1490	kleinwagen	1998	manuell	50	lupo	150000	9	benzin	volkswagen	nein	2016-04-04	48653	2016-04-06	2	2016	4
371517	2016-03-28	Volkswagen_Golf_2.0_TDI_DPF_Team	7900	limousine	2010	manuell	140	golf	150000	7	diesel	volkswagen	nein	2016-03-28	75223	2016-04-02	5	2016	3
371518	2016-04-02	Bmw_320_D_DPF_Touring_!!!	3999	kombi	2005	manuell	3	3er	150000	5	diesel	bmw	nein	2016-04-02	81825	2016-04-06	4	2016	4
371519	2016-03-09	Alfa_Romeo_159_Jtdm_1.9_150_ps_13_600_km_top_voll	5250	-	2016	automatik	150	159	150000	12	-	alfa_romeo	nein	2016-03-09	51371	2016-03-13	4	2016	3
371520	2016-03-19	turbo_defekt	3200	limousine	2004	manuell	225	leon	150000	5	benzin	seat	ja	2016-03-19	96465	2016-03-19	0	2016	3
371521	2016-03-27	Opel_Zafira_1.6_Elegance_TÜV_12/16	1150	bus	2000	manuell	0	zafira	150000	3	benzin	opel	nein	2016-03-27	26624	2016-03-29	2	2016	3
371523	2016-03-14	Suche_t4___vito_ab_6_sitze	2200	-	2005	-	0	-	20000	1	-	sonstige_autos	-	2016-03-14	39576	2016-04-06	23	2016	3
371524	2016-03-05	Smart_smart_leistungssteigerung_100ps	1199	cabrio	2000	automatik	101	fortwo	125000	3	benzin	smart	nein	2016-03-05	26135	2016-03-11	6	2016	3
371525	2016-03-19	Volkswagen_Multivan_T4_TDI_7DC_UY2	9200	bus	1996	manuell	102	transporter	150000	3	diesel	volkswagen	nein	2016-03-19	87439	2016-04-07	19	2016	3
371526	2016-03-20	VW_Golf_Kombi_1_9l_TDI	3400	kombi	2002	manuell	100	golf	150000	6	diesel	volkswagen	-	2016-03-20	40764	2016-03-24	4	2016	3
371527	2016-03-07	BMW_M135i_vollausgestattet_NP_52.720____Euro	28990	limousine	2013	manuell	320	m_reihe	50000	8	benzin	bmw	nein	2016-03-07	73326	2016-03-22	15	2016	3

	company	brand	image_url
0	VW-Konzern	volkswagen	https://imgr1.auto-motor-und-sport.de/Volkswagen-Logo-brandtreeIndexSmall-f4ae98d2-941118.jpg
1	VW-Konzern	audi	https://imgr1.auto-motor-und-sport.de/Audi-Logo-Neu-02-2019-brandtreeIndexSmall-44d434cb-1430808.jpg
2	VW-Konzern	bentley	https://imgr1.auto-motor-und-sport.de/Bentley-Logo-brandtreeIndexSmall-41a61902-702423.jpg
3	VW-Konzern	bugatti	https://imgr1.auto-motor-und-sport.de/Bugatti-Logo-brandtreeIndexSmall-252888c-946200.jpg
4	VW-Konzern	lamborghini	https://imgr1.auto-motor-und-sport.de/Lamborghini-Logo-brandtreeIndexSmall-df88a8a3-945695.jpg

	company	brand
0	VW-Konzern	volkswagen
1	VW-Konzern	audi
2	VW-Konzern	bentley
3	VW-Konzern	bugatti
4	VW-Konzern	lamborghini
5	VW-Konzern	porsche
6	VW-Konzern	seat
7	VW-Konzern	skoda
8	Fiat-Chrysler-Konzern	fiat
9	Fiat-Chrysler-Konzern	chrysler
10	Fiat-Chrysler-Konzern	alfa_romeo
11	Fiat-Chrysler-Konzern	ferrari
12	Fiat-Chrysler-Konzern	jeep
13	Fiat-Chrysler-Konzern	dodge
14	Fiat-Chrysler-Konzern	maserati
15	Fiat-Chrysler-Konzern	lancia
16	BMW-Konzern	bmw
17	BMW-Konzern	mini
18	BMW-Konzern	rolls-royce
19	General Motors-Konzern	gmc
20	General Motors-Konzern	chevrolet
21	General Motors-Konzern	cadillac
22	General Motors-Konzern	corvette
23	General Motors-Konzern	buick
24	General Motors-Konzern	pontiac
25	General Motors-Konzern	hummer
26	General Motors-Konzern	saab
27	General Motors-Konzern	daewoo
28	Daimler-Konzern	mercedes_benz
29	Daimler-Konzern	smart
30	Renault-Nissan-Gruppe	renault
31	Renault-Nissan-Gruppe	dacia
32	Renault-Nissan-Gruppe	nissan
33	Renault-Nissan-Gruppe	infiniti
34	Renault-Nissan-Gruppe	opel
35	Renault-Nissan-Gruppe	mitsubishi
36	Renault-Nissan-Gruppe	lada
37	PSA Peugeot Citroen-Konzern	peugeot
38	PSA Peugeot Citroen-Konzern	citroen
39	Toyota-Konzern	toyota
40	Toyota-Konzern	lexus
41	Toyota-Konzern	daihatsu
42	Hyundai-Konzern	hyundai
43	Hyundai-Konzern	kia
44	Ford-Konzern	ford
45	Geely-Konzern	volvo
46	Honda-Konzern	honda
47	Suzuki-Konzern	suzuki
48	Subaru-Konzern	subaru
49	Tata Motors-Konzern	land_rover
50	Tata Motors-Konzern	jaguar
51	Tata Motors-Konzern	rover
52	Mazda-Konzern	mazda
53	Aufgelöste-Konzerne	trabant
54	Aufgelöste-Konzerne	saab

	dateCrawled	name	seller	offerType	price	abtest	vehicleType	yearOfRegistration	gearbox	powerPS	...	fuelType	brand	notRepairedDamage	dateCreated	plz	lastSeen	offerTime	year_crawled	month_crawled
0	2016-03-24	Golf_3_1.6	privat	Angebot	480	test	NaN	1993	manuell	0	...	benzin	volkswagen	NaN	2016-03-24	70435	2016-04-07	14	2016	3
1	2016-03-24	A5_Sportback_2.7_Tdi	privat	Angebot	18300	test	coupe	2011	manuell	190	...	diesel	audi	ja	2016-03-24	66954	2016-04-07	14	2016	3
2	2016-03-14	Jeep_Grand_Cherokee_"Overland"	privat	Angebot	9800	test	suv	2004	automatik	163	...	diesel	jeep	NaN	2016-03-14	90480	2016-04-05	22	2016	3
3	2016-03-17	GOLF_4_1_4__3TÜRER	privat	Angebot	1500	test	kleinwagen	2001	manuell	75	...	benzin	volkswagen	nein	2016-03-17	91074	2016-03-17	0	2016	3
4	2016-03-31	Skoda_Fabia_1.4_TDI_PD_Classic	privat	Angebot	3600	test	kleinwagen	2008	manuell	69	...	diesel	skoda	nein	2016-03-31	60437	2016-04-06	6	2016	3

	plz	#loc_id	lon	lat	Ort	einwohner	Bundesland
0	70435	9703	9.159157	48.830653	Stuttgart	206.0	Baden-Württemberg
1	66954	9414	7.564295	49.202121	Pirmasens	10417.0	Rheinland-Pfalz
2	90480	11724	11.132551	49.447293	Nürnberg	18393.0	Bayern
3	91074	11774	10.878277	49.572095	Herzogenaurach	22222.0	Bayern
4	60437	9033	8.678966	50.199217	Frankfurt am Main	3123.0	Hessen

	Count	Anteil
company
Aufgelöste-Konzerne	742	0.230697
BMW-Konzern	39330	12.228185
Daimler-Konzern	36007	11.195023
Fiat-Chrysler-Konzern	12451	3.871170
Ford-Konzern	22060	6.858728
Geely-Konzern	2964	0.921544
General Motors-Konzern	2446	0.760492
Honda-Konzern	2452	0.762357
Hyundai-Konzern	5644	1.754790
Mazda-Konzern	5066	1.575082
PSA Peugeot Citroen-Konzern	14465	4.497348
Renault-Nissan-Gruppe	57605	17.910109
Subaru-Konzern	684	0.212664
Suzuki-Konzern	2055	0.638925
Tata Motors-Konzern	1618	0.503056
Toyota-Konzern	5028	1.563268
VW-Konzern	111017	34.516562

	Count	Anteil
company
Aufgelöste-Konzerne	189	3.666343
BMW-Konzern	295	5.722599
Daimler-Konzern	1040	20.174588
Fiat-Chrysler-Konzern	428	8.302619
Ford-Konzern	416	8.069835
Geely-Konzern	77	1.493695
General Motors-Konzern	187	3.627546
Honda-Konzern	15	0.290980
Hyundai-Konzern	1	0.019399
Mazda-Konzern	17	0.329777
PSA Peugeot Citroen-Konzern	138	2.677013
Renault-Nissan-Gruppe	592	11.483996
Subaru-Konzern	4	0.077595
Suzuki-Konzern	32	0.620757
Tata Motors-Konzern	96	1.862270
Toyota-Konzern	36	0.698351
VW-Konzern	1592	30.882638

	Min	Max	Mean	Median
brand
alfa_romeo	100	55800	3848.0	2450.0
audi	100	323223	9274.0	6400.0
bmw	100	390000	8618.0	6000.0
chevrolet	225	59999	6244.0	4100.0
chrysler	100	34900	4092.0	2499.0
citroen	100	38888	3662.0	2550.0
dacia	500	19990	5950.0	4950.0
daewoo	100	3850	1073.0	1000.0
daihatsu	100	12850	1853.0	1099.0
fiat	100	35000	2842.0	1650.0
ford	100	70999	3640.0	1850.0
honda	100	48500	4129.0	2550.0
hyundai	100	35999	5642.0	4200.0
jaguar	199	466000	12197.0	6000.0
jeep	200	59800	11314.0	7490.0
kia	100	43900	5945.0	3850.0
lada	199	12000	3369.0	3000.0
lancia	100	64000	3146.0	1190.0
land_rover	220	120000	16909.0	12989.0
mazda	100	38900	4182.0	2552.0
mercedes_benz	100	368000	8548.0	5200.0
mini	100	45000	10103.0	8850.0
mitsubishi	100	130000	3519.0	1800.0
nissan	100	99999	4791.0	2200.0
opel	100	38990	3042.0	1700.0
peugeot	100	31500	3329.0	2399.0
porsche	140	488997	43056.0	32000.0
renault	100	110000	2494.0	1450.0
rover	100	28900	1654.0	999.0
saab	150	29900	3939.0	2600.0
seat	100	154651	4640.0	2950.0
skoda	100	145000	6584.0	5000.0
smart	100	100000	3687.0	2990.0
sonstige_autos	100	440000	16077.0	6900.0
subaru	100	38333	4587.0	1925.0
suzuki	100	111111	4176.0	3200.0
toyota	125	160000	5350.0	4190.0
trabant	100	14500	1962.0	1400.0
volkswagen	100	208250	5517.0	3150.0
volvo	100	65400	5299.0	2865.0

	price	kilometer	yearOfRegistration	powerPS
price	1.000000	-0.402803	0.505072	0.201000
kilometer	-0.402803	1.000000	-0.463918	-0.020591
yearOfRegistration	0.505072	-0.463918	1.000000	0.091990
powerPS	0.201000	-0.020591	0.091990	1.000000

	price	kilometer	yearOfRegistration	powerPS
price	1.000000	-0.093962	-0.228475	0.100081
kilometer	-0.093962	1.000000	0.264371	0.050124
yearOfRegistration	-0.228475	0.264371	1.000000	0.004519
powerPS	0.100081	0.050124	0.004519	1.000000

	plz	#loc_id	lon	lat	Ort	einwohner	Bundesland
0	70435	9703	9.15916	48.8307	Stuttgart	206	Baden-Württemberg
1	66954	9414	7.5643	49.2021	Pirmasens	10417	Rheinland-Pfalz
2	90480	11724	11.1326	49.4473	Nürnberg	18393	Bayern
3	91074	11774	10.8783	49.5721	Herzogenaurach	22222	Bayern
4	60437	9033	8.67897	50.1992	Frankfurt am Main	3123	Hessen
5	33775	7225	8.17036	52.0402	Versmold	21005	Nordrhein-Westfalen
6	67112	9435	8.35045	49.4416	Mutterstadt	12411	Rheinland-Pfalz
7	94505	12258	12.9049	48.912	Bernried	4779	Bayern
8	27472	6780	8.70959	53.8544	Cuxhaven	12415	Niedersachsen
9	96224	12460	11.2903	50.1468	Burgkunstadt	6624	Bayern
10	57290	8863	8.01613	50.7876	Neunkirchen	13951	Nordrhein-Westfalen
11	37269	7526	10.038	51.1797	Eschwege	19464	Hessen
12	90762	11765	10.9942	49.4743	Fürth	18429	Bayern
13	4177	5252	12.3345	51.341	Leipzig	16855	Sachsen
14	24148	6329	10.178	54.3213	Kiel	13842	Schleswig-Holstein
15	38871	12885	10.6984	51.8838	Ilsenburg / Harz	15773	Sachsen-Anhalt
16	65599	9288	8.02217	50.5124	Dornburg	8525	Hessen
17	88361	11536	9.52902	47.9347	Altshausen	5159	Baden-Württemberg
18	49565	8258	7.99656	52.4186	Bramsche	30253	Niedersachsen
19	75365	10239	8.74018	48.71	Calw	22073	Baden-Württemberg
20	68309	9614	8.53348	49.5165	Mannheim	29639	Baden-Württemberg
21	49716	8281	7.28364	52.7057	Meppen	34081	Niedersachsen
22	9526	5652	13.3422	50.6561	Olbernhau	132	Sachsen
23	35390	7351	8.67301	50.5859	Gießen	14989	Hessen
24	73765	10050	9.2753	48.6815	Neuhausen auf den Fildern	11177	Baden-Württemberg
25	31139	7037	9.89993	52.1302	Hildesheim	2186	Niedersachsen
26	12621	13024	13.5914	52.5052	Berlin	16074	Berlin
27	87471	11397	10.38	47.6998	Durach	6753	Bayern
28	86199	11204	10.8291	48.3229	Augsburg	26077	Bayern
29	53879	8498	6.78628	50.6568	Euskirchen	28174	Nordrhein-Westfalen
30	37075	7493	9.99101	51.542	Göttingen	16624	Niedersachsen
31	44145	7906	7.48489	51.5361	Dortmund	30076	Nordrhein-Westfalen
32	39179	7720	11.6054	52.2012	Barleben	8953	Sachsen-Anhalt
33	67071	9432	8.36072	49.4801	Ludwigshafen am Rhein	27999	Rheinland-Pfalz
34	19386	5977	12.0694	53.4612	Lübz	1025	Mecklenburg-Vorpommern
35	2943	5205	14.6231	51.4455	Weißwasser	23176	Sachsen
36	46483	8065	6.6121	51.6642	Wesel	21308	Nordrhein-Westfalen
37	10551	12932	13.339	52.5327	Berlin	16424	Berlin
38	22767	6200	9.94759	53.5532	Hamburg	27506	Hamburg
39	33649	7217	8.45327	51.9806	Bielefeld	20101	Nordrhein-Westfalen

	price	kilometer	yearOfRegistration	powerPS	gearbox_automatik	gearbox_manuell	fuelType_benzin	fuelType_diesel
price	1.000000	-0.402803	0.505072	0.201000	0.287088	-0.247298	-0.155389	0.206269
kilometer	-0.402803	1.000000	-0.463918	-0.020591	-0.046806	0.044084	-0.111002	0.093764
yearOfRegistration	0.505072	-0.463918	1.000000	0.091990	0.139965	-0.112077	-0.256586	0.330553
powerPS	0.201000	-0.020591	0.091990	1.000000	0.157388	-0.113335	-0.040804	0.059782
gearbox_automatik	0.287088	-0.046806	0.139965	0.157388	1.000000	-0.903030	-0.143815	0.161896
gearbox_manuell	-0.247298	0.044084	-0.112077	-0.113335	-0.903030	1.000000	0.171590	-0.141875
fuelType_benzin	-0.155389	-0.111002	-0.256586	-0.040804	-0.143815	0.171590	1.000000	-0.850776
fuelType_diesel	0.206269	0.093764	0.330553	0.059782	0.161896	-0.141875	-0.850776	1.000000

	price	kilometer	yearOfRegistration	powerPS	gearbox_automatik	gearbox_manuell	fuelType_benzin	fuelType_diesel
price	1.000000	-0.093962	-0.228475	0.100081	0.041798	0.002450	0.097353	-0.068693
kilometer	-0.093962	1.000000	0.264371	0.050124	0.130944	-0.024057	0.003158	0.109639
yearOfRegistration	-0.228475	0.264371	1.000000	0.004519	0.048109	0.015994	-0.055876	0.137278
powerPS	0.100081	0.050124	0.004519	1.000000	0.178859	-0.061265	0.116525	-0.030452
gearbox_automatik	0.041798	0.130944	0.048109	0.178859	1.000000	-0.712706	0.147615	-0.058974
gearbox_manuell	0.002450	-0.024057	0.015994	-0.061265	-0.712706	1.000000	0.221540	0.099683
fuelType_benzin	0.097353	0.003158	-0.055876	0.116525	0.147615	0.221540	1.000000	-0.488331
fuelType_diesel	-0.068693	0.109639	0.137278	-0.030452	-0.058974	0.099683	-0.488331	1.000000